Bdliau dilahirkan sebagai Jeffrey Leon Bridges pada 4 Disember 1949, di Los Angeles, California. Beliau merupakan anak kepada pelakon veteran Lloyd Bridges (1913–1998)[1][2] dan pelakon dan penulis Dorothy Bridges (née Simpson; 1915–2009). Abang sulungnya ialah, Beau Bridges, juga seorang pelakon. Beliau mempunyai seorang adik perempuan bongsu, Lucinda, dan seorang lagi abangnya Garrett, yang meninggal dunia akibat sindrom mengejut pada 1948. Keluarganya sebelah bapanya ialah pendatang Inggeris dari Liverpool.[3]

Bridges dan adik-beradiknya dibesarkan di Holmby Hills, Los Angeles.[4] Membesar, Bridges mempunyai hubingan erat dengan abangnya Beau, yang menjadi bapa tumpang apabila bapa mereka bekerja.[5] Beliau tamat belajar di University High School pada 1967. Pada usia 17 tahun, Jeff menjelajah bersama bapanya di pementasan Broadway Anniversary Waltz. Selepas tamat sekolah tinghi, Bridges berpindah ke New York City, di mana beliau mempelajari ilmu lakonan di Herbert Berghof Studio. Selepas menginjak usia 18, Bridges menyertai Rizab Pengurus Pantai Amerika Syarikat, di mana beliau berkhidmat selama 7 tahun.[6]